# Copyright (c) Alibaba, Inc. and its affiliates.

from dataclasses import dataclass
from typing import Literal, Optional

import torch

from swift.llm import HfConfigFactory


@dataclass
class QuantizeArguments:
    """
    QuantizeArguments 是用于模型量化配置的数据类。

    参数说明：
        quant_method：指定使用的量化方法（bnb、hqq、eetq、quanto）。
        quant_bits：使用多少位进行量化（1、2、3、4、8、float8）。
        hqq_axis：hqq 量化时使用的轴方向。
        bnb_4bit_compute_dtype：bnb 4bit 量化的计算精度类型。
        bnb_4bit_quant_type：bnb 4bit 量化类型，支持 fp4 和 nf4。
        bnb_4bit_use_double_quant：是否启用 bnb 的双重量化。
        bnb_4bit_quant_storage：设置量化后的参数存储类型。
    """

    # 可在线量化的有 bnb、hqq、eetq、quanto；而 awq、gptq、aqlm 是离线量化好的模型
    quant_method: Literal['bnb', 'hqq', 'eetq', 'quanto'] = None

    # 不同方法支持的量化位数限制
    # bnb: 4 或 8；hqq: 1,2,3,4,8；eetq: 8；quanto: 2, 4, 8, float8
    quant_bits: Literal[1, 2, 3, 4, 8, 'float8'] = None

    # hqq 专用参数，指定量化轴
    hqq_axis: Optional[int] = None

    # 以下是 bnb 专用参数
    bnb_4bit_compute_dtype: Literal['float16', 'bfloat16', 'float32', None] = None
    bnb_4bit_quant_type: Literal['fp4', 'nf4'] = 'nf4'  # 默认使用 nf4
    bnb_4bit_use_double_quant: bool = True  # 默认启用双量化
    bnb_4bit_quant_storage: Optional[str] = None  # 存储类型（如 fp4/nf4）

    # 返回 transformers 库中对应的量化配置对象
    def get_quantization_config(self):
        # 如果未指定量化方法，或使用了已离线量化的模型（awq, gptq），则不需要配置
        if self.quant_method is None or self.quant_method in {'awq', 'gptq'}:
            return None

        # 安全断言：量化方法只能是下列之一
        assert self.quant_method in {'bnb', 'hqq', 'eetq', 'quanto'}

        # quant_bits 必须设置，否则抛出异常
        if self.quant_bits is None:
            raise ValueError(f'Please set the quant_bits. args.quant_bits: {self.quant_bits}')

        # 以下分不同量化方法分别处理
        if self.quant_method == 'bnb':
            if self.quant_bits == 4:
                load_in_4bit, load_in_8bit = True, False
            elif self.quant_bits == 8:
                load_in_4bit, load_in_8bit = False, True
            else:
                raise ValueError(f'bnb not support quant_bits: {self.quant_bits}')

            # 构建 bnb 的量化配置
            from transformers import BitsAndBytesConfig
            quantization_config = BitsAndBytesConfig(
                load_in_4bit=load_in_4bit,
                load_in_8bit=load_in_8bit,
                bnb_4bit_compute_dtype=self.bnb_4bit_compute_dtype,
                bnb_4bit_quant_type=self.bnb_4bit_quant_type,
                bnb_4bit_use_double_quant=self.bnb_4bit_use_double_quant,
                bnb_4bit_quant_storage=self.bnb_4bit_quant_storage
            )

        elif self.quant_method == 'hqq':
            from transformers import HqqConfig
            quantization_config = HqqConfig(nbits=self.quant_bits, axis=self.hqq_axis)

        elif self.quant_method == 'quanto':
            from transformers import QuantoConfig
            # 映射 quant_bits 到 quanto 的字符串表示（如 int4, float8）
            if self.quant_bits == 8:
                weights = 'int8'
            elif self.quant_bits == 'float8':
                weights = 'float8'
            elif self.quant_bits == 4:
                weights = 'int4'
            elif self.quant_bits == 2:
                weights = 'int2'
            else:
                raise ValueError('quanto quantization only support quant bits 2/4/8/float8')
            quantization_config = QuantoConfig(weights=weights)

        else:  # 'eetq'
            from transformers import EetqConfig
            quantization_config = EetqConfig(f'int{self.quant_bits}')

        return quantization_config  # 返回最终配置对象

    # 初始化钩子函数，完成部分默认值设置和类型转换
    def __post_init__(self):
        # 如果 bnb 的计算精度类型未指定，根据 torch_dtype 自动推断
        if self.bnb_4bit_compute_dtype is None:
            if self.torch_dtype in {torch.float16, torch.float32}:
                self.bnb_4bit_compute_dtype = torch.float32
            elif self.torch_dtype == torch.bfloat16:
                self.bnb_4bit_compute_dtype = torch.bfloat16

        # 转换字符串 dtype 为 torch 的 dtype 对象
        self.bnb_4bit_compute_dtype: torch.dtype = HfConfigFactory.to_torch_dtype(self.bnb_4bit_compute_dtype)
